NLP+VS=>ImageCaption︱自动生成图像标题技术论文+相关项目

读聪明人的笔记，是不是也能变聪明呢？

Image Caption是一个融合计算机视觉、自然语言处理和机器学习的综合问题，它类似于翻译一副图片为一段描述文字。
Image Caption问题可以定义为二元组(I,S)的形式， 其中I表示图，S为目标单词序列，其中S={S1,S2,…}，其中St为来自于数据集提取的单词。训练的目标是使最大似然p(S|I)取得最大值，即使生成的语句和目标语句更加匹配，也可以表达为用尽可能准确的用语句去描述图像。

Image Caption主要研究分为以下几个方向：

1、用单独的CNN来获取图像的特征，然后，利用这些特征进行生成句子（排序，检索，生成）；
2、将CNN获取的特征和句子特征联合嵌入到一个空间内，然后从中进行选择最优描述；
3、利用一些全新的机制，将CNN和RNN结合，目的在利用CNN的全局特征或者局部特征来指导描述的生成。
——以上三种类似神经网络翻译——-
4、使用模板的方法，填入一些图像中的物体；
5、使用检索的方法，寻找相似描述。这两种方法都使用了一种泛化的手段，使得描述跟图片很接近，但又不那么准确。

（博客：image caption：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention ）
.

Vinyals O, Toshev A, Bengio S, et al. Show and tell: A neural image
caption generator[J]. Computer Science, 2015:3156-3164.

用CNN来学图像特征，全连接层后接LSTM，让其学写描述句子。

效果：
var cpro_id = "u6885494";